RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents
RecreationWorld：面向混合计算机使用智能体的可扩展可验证环境
🧭 混合计算机使用智能体基准与训练 ★ 深度解读
Alibaba Token Hub, Alibaba Group
以“复刻运行中应用”为核心任务，构建跨五平台的混合 GUI/代码智能体基准与训练框架
📌 工作参考价值（4 点）
- 用“reference-as-oracle”做自动化回归：电商页面改版、前端重构、配置迁移时，把旧版/线上版本作为运行 reference，自动采集动作-响应和截图，生成 Programmatic + VLM 断言，替代人工比对，得到可回放、可量化的验收指标。
- 复制混合工作流到业务 Agent：不要硬限制 GUI-only 或 code-only；给 Agent 同时开放 GUI 观察、代码编辑、构建/运行三类工具，让它自主切换。论文显示这种混合轨迹在长程任务中切换频繁，且基于可验证环境做 SFT 能迁移到 OOD 编码/计算机使用任务。
- 用拒绝采样 + 可执行奖励造 SFT 数据：如果业务中有可自动评分的交互环境（如商品页面结构化抽取、RPA 流程、店铺装修），可跑多模型 rollout，用隐藏测试套件打分，选高奖励轨迹微调，减少人工标注。
- 工程降本技巧：把链式 MCP 原语调用改成持久化 REPL + typed SDK，让模型在本地循环处理中间结果，可大幅降 token 和成本（输入 -40.7%、tool-result -65.5%、成本 -54.1%），质量不降，适合 GUI Agent 落地。